Retrieve, Match, Escalate: Accurate and Scalable Product Linking with VLM-Distilled Cross-Encoders and Agentic VLMs
检索-匹配-升级：VLM蒸馏交叉编码器与Agentic VLM商品链接
🧭 商品实体解析 · 检索-匹配级联 ★ 深度解读
DoorDash Inc.
用VLM共识标签蒸馏轻量交叉编码器，并把困难尾部升级给自托管Agentic VLM，实现按难度路由的商品链接
📌 工作参考价值（4 点）
- 难度路由级联：用 cheap text-only cross-encoder 产出 calibrated score，设 HIGH/LOW 双阈值，只把 MEDIUM 升级给昂贵 VLM；成本差可达 4 个数量级，端到端覆盖从 68.1% 提升到 77.1%。
- 标签飞轮：dual-VLM consensus 自动生成训练标签（保留 87% 一致、丢弃 13% 不一致），5.3M 标签替代 40k 人工标注，放大 130×；业务上可先让闭源 VLM 产生伪标签，再用 ops 审计校准。
- 特征工程与修复：原始 barcode digits 直接进 cross-encoder 比 [BARCODE_MATCH] 标志更好（+0.8pp F1），但需防 rare collision：用 barcode dropout + name-similarity guardrail + 合成同 barcode 冲突 name 对，再以 guardrailed teacher 蒸馏学生，把 stress audit R@P98 从 0.200 拉到 0.768。
- Agent 部署与评测：自托管 open-weight MoE VLM 替代 closed frontier，同精度成本 1/7，recall 仅 -4pp；通过 MCP 解耦 search backend、限制 tool loop ≤4 轮、加同零售商证据/空搜索 inconclusive addenda 稳定行为；同时主动构造对抗性子分布，补足 held-out 看不到的稀有失败。